双考：多模态智能体与世界模型的受控评估
🧭 多模态 Agent 与世界模型评估
香港科技大学 · 新加坡国立大学 · 香港理工大学 · 东京大学 · 卡内基梅隆大学
提出 Dual Exam 框架，分别评估多模态 Agent 与世界模型，发现两者任务表现不均且耦合成功率低
📌 工作参考价值（4 点）
- 将 Agent 的动作选择与状态演化分开评估：在电商对话推荐、广告策略自动出价等场景中，先用固定环境响应测 Agent 决策，再固定动作序列测 World Model 预测，可解耦定位问题。
- 构建任务相关状态保持的专项 check：论文揭示 Agent 常丢失任务相关状态，实际推荐/搜索多轮对话中可加入状态保持测试用例，防止遗忘用户偏好、已选商品等关键上下文。
- 对于用 World Model 模拟用户反馈/市场响应的团队，需独立验证其 action-conditioned 预测准确率，不能仅靠端到端耦合成功率；150 例耦合实验零成功说明耦合评估会掩盖组件缺陷。
- 评测集设计采用“固定环境响应/固定动作干预”对照，可迁移到线上 Agent 评测系统，区分策略错误和模型预测错误，降低归因成本。
RSI-Anything：用世界模型解锁递归自改进
🧭 世界模型驱动的递归自改进
提出基于预测世界模型的递归自改进框架，在代码、GUI、科学任务中提升成功率并降低交互成本
📌 工作参考价值（4 点）
- 可借鉴其「预测选择 + 条件自适应」思路：在电商 Agent 或推荐流程中用世界模型预筛候选 action / 训练样本，减少对昂贵外部反馈（人工标注、在线实验）的依赖。
- 将 policy 与 world model 作为配对版本管理，通过 component / compatibility check 决定是否保留更新，能防止 Agent 多模型链路中的版本漂移，适合多阶段生成式推荐管线。
- GUI 评估中平均 actions 减少 39.4%，说明世界模型引导能在保持任务完成率的同时降低交互步数，对需要控制 token / 工具调用成本的 Agent 工作流有直接迁移价值。
- 小规模但一致的提升模式：代码修复 26.3%→29.2%→31.2%，说明预测选择与模型自适应可叠加，业务上可作为低成本增量优化手段。
在世界模型中训练对象永久性
🧭 视频世界模型 · 对象永久性推理
University of Southern California · Carnegie Mellon University · University of Michigan · Johns Hopkins University · University of California, San Diego
构建 150 类认知任务 Blender 数据生成器，产出 1.5M 视频训练集并微调 16B 模型，在对象永久性盲测中 continuation 类第一
📌 工作参考价值（4 点）
- 借鉴程序化生成数据的思路：把核心认知/业务结构固定（如用户意图、商品属性关系），随机化干扰因子（视角、光照、渲染参数）批量合成训练样本，用于提升多模态模型对核心特征的鲁棒性，类似电商商品图/视频的合成增强。
- 构建小规模但高针对性的任务族 + 专门微调：用 150 类认知任务、每类 10k 样本的紧凑数据即可在特定物理推理能力上超过大模型，可用于快速补齐商品视频生成、3D 试穿等模型的物理合理性短板。
- 盲测 Elo 评估范式：对多个生成模型输出做匿名成对比较再计算 Elo，比单指标分数更接近人类感知排序，适合评估广告文案、商品描述或推荐理由生成质量。
- 发布权重和训练栈的做法可参考：如果要复现或继续微调，公开训练栈和权重能降低多模态模型训练成本，团队内也可沉淀类似工具。
面向 Web Agent 的判别式世界模型
🧭 Web Agent 世界模型判别式训练
University of California, Berkeley · MIT-IBM Watson AI Lab · Cal Poly San Luis Obispo · Xero
用预测状态匹配训练世界模型，使预测表示能区分不同动作结果，提升 PRM 动作排序与端到端任务成功率
📌 工作参考价值（4 点）
- 训练状态模拟器时对齐下游排序目标：不要只做 next-state 重建，应加入判别式目标，使预测状态可区分不同动作的后果。在电商/搜索的 agent 场景中，若用世界模型模拟用户点击或意图变化，可改用 contrastive 或 ranking loss 训练，以辅助后续动作打分。
- 构建分支式决策数据集：从真实交互轨迹中记录每个决策点的候选动作及各自后续状态，用于训练判别式世界模型。可借鉴到搜索推荐 agent，通过离线用户日志构造“动作-结果”对比样本，避免昂贵在线探索。
- PRM/ranker 增强：将世界模型预测的状态表示拼接到 PRM 输入，能比仅用动作特征提升动作排名。在做推荐 agent 的多步决策时，可设计类似的 process reward 模型，用预测用户状态辅助评估候选推荐或 query。
- 测试时采用“候选生成 + 预测状态 + 打分”的 pipeline，可提高端到端成功率。在电商 agent 中可对候选商品或 query 做模拟排序，减少试错。
智能体游戏开发：作为可验证轨迹数据引擎扩展世界模型
🧭 世界模型 · 可验证奖励 · RL post-training
National University of Singapore, HPC-AI Lab · InfRec, Cardinal AI Lab · University of California, Berkeley · Hong Kong University of Science and Technology · Independent Researcher
提出 RLHEV 后训练范式，用游戏引擎可执行验证与人类隐式接受信号，为世界模型提供可奖励轨迹数据。
📌 工作参考价值（4 点）
- 在电商/Agent 场景，借鉴“可执行验证”思路：用库存、价格、物流时效、广告合规等确定性业务规则作为 dense verifier，替代 CLIP 这类模糊 proxy；同时用点击/成交/无投诉等隐式人类反馈做 global signal，构建 RL post-training 奖励。
- 把生产中的长程交互日志（搜索→浏览→加购→下单→售后）当作 trajectory data，回流训练 Agent；类似论文将 game development 过程转为可验证轨迹。
- 对跨域/跨环境泛化：论文中发现 transfer learning 对 OOD shift 有正向信号，电商可尝试在相似但不同的域（不同站点、类目、流量渠道）做预训练+微调，并设计可控实验评估。
- 若业务有模拟器（如供应链仿真、店铺经营模拟），可以低成本合成违规/可玩性等验证信号，给 LLM/Agent 提供递归数据引擎；没有模拟器时，也可从人工审核/退款/纠纷数据中抽取弱监督信号。
正交 JEPA：面向潜在世界模型的因子化预测状态
🧭 预测表征学习 · 世界模型
The Chinese University of Hong Kong (CUHK)
提出正交预测因子化框架，将目标状态分解为多个正交组件分别预测，缓解主导信号对表征学习的干扰
📌 工作参考价值（4 点）
- 多任务/多目标推荐中共享 backbone 常面临负迁移：可借鉴正交因子分解，将目标空间分解为多个正交组件，每个任务/目标使用独立预测头，显式鼓励任务表征方向不重叠，缓解主导任务（如 CTR）对辅助任务（如收藏、GMV）的梯度压制。
- 在用户序列建模或商品表征预训练中，JEPA 式自监督学习可用：对 next-item 预测或跨视图预测，把目标 embedding 用基矩阵分解为多个正交因子，分别预测后合成，避免单一预测头只拟合热门/高频特征，提升对长尾兴趣的覆盖。
- 在线方差正则化可防止 embedding 坐标坍缩，适合推荐模型 embedding 层或序列编码器，避免有效维度减少；因子活动正则化思想可迁移到多兴趣表征，保持不同兴趣向量的多样性。
- 该预测状态机制可支持 planning/rollout，对 Agent 在推荐环境中做用户模拟或策略评估时，可构建因子化世界模型，生成更稳定的用户状态转移。
划分支持集并重构残差：面向视频生成与世界模型的训练-free稀疏注意力
🧭 训练-free 稀疏注意力加速视频 Transformer
Texas A&M University
训练-free稀疏注意力，通过响应耦合分区与探针拟合残差重构，在视频生成和世界模型中保持质量并加速1.48-2.61倍
📌 工作参考价值（4 点）
- 对长序列用户行为建模的 Transformer 推理，可借鉴训练-free 稀疏注意力：先按 query 与 key 的响应相关性做块划分，再用少量 probe query 精确计算残差，用仿射校正补偿被跳过的注意力，避免重新训练。
- 适合已有预训练电商/推荐大模型在线上做低成本加速，不需改权重，直接以更低的 executed-pair density（如 22-26%）换取 1.5-2.6x 端到端吞吐提升。
- 探针拟合成本低、效果贡献大，可以在工程实现中作为轻量残差模块嵌入，优先保证 probe 数量和选择策略，而不是复杂的分区方法。
- 若有多头注意力且头间分布差异明显，可做 head-dependent 稀疏策略，本方法中的响应耦合分区思路可迁移到不同 head 和长序列场景。
HarnessEval-W：将视觉世界评估智能体化
🧭 多智能体分层评估世界模型
提出分层多智能体评估流程，把世界模型评估转化为可验证的证据树
📌 工作参考价值（4 点）
- 借鉴其分层 agent 评估架构：将复杂评估任务拆解为多个可测量子问题，每个子问题交给专门的子 agent 处理，父 agent 汇总证据。适合评估生成式推荐或搜索 Agent 的输出质量，例如分解「推荐相关性」「文本流畅性」「商品属性一致性」等维度并行诊断。
- 强调推理链与证据树：评估结果必须能追溯到具体证据，而非仅给出分数。在业务中可用于 user study 自动化替代，或对推荐理由、搜索改写结果做可解释的质量审计。
- 子 agent 配备定制上下文与诊断工具：可针对不同评估维度注入业务规则、商品知识图谱、历史 CTR 等工具，让评估更贴近业务场景。
- 开源 pipeline 可作为内部评测框架的基础，尤其适合多模态生成（如商品图、短视频、虚拟主播）的质量评估。
音乐共创智能体的层次化自监督世界模型
🧭 层次化自监督世界模型 · 音乐生成
Department of Chemistry & Physics, Belmont University
层次化自监督表征使音乐理解与生成解耦，小模型结合流匹配实现实时可交互的共创建议
📌 工作参考价值（4 点）
- 层次化自监督表征学习可用于序列推荐：粗粒度层级对应长期兴趣（如主题、品类偏好），细粒度层级捕捉短期具体意图（如品牌、价格敏感度），JEPA 的平移等变目标可增强时序泛化，适合电商用户行为建模。
- RAE + 流匹配的轻量生成框架：可将物品 Semantic ID 经 PCA 压缩后作为条件，用流匹配生成推荐序列，层级条件丢弃技巧直接控制推荐结果的多样性与相关性平衡，无需额外采样器。
- 小模型（2.55M）CPU 推理 2.8s 的工程启示：对边缘设备或低延迟推荐 Agent 友好，可考虑用层次化浅层 Swin 编码器替代 Transformer 以压缩推理成本。
- 和弦监督头提升无监督调性检测的现象类比：在推荐中，少量有监督辅助任务（如类目预测）能显著增强无属性标签的冷启动物品表征，值得设计多任务头共享主干。
世界行动模型综述
🧭 具身预测行动模型设计空间
National University of Singapore
对具身预测-行动模型给出统一分类与设计权衡，强调“少预测未来、多聚焦控制”
📌 工作参考价值（4 点）
- 构建推荐环境用户仿真器（世界模型）时，可借鉴“生成更少未来，只保留控制所需信息”的设计原则，用潜在状态预测替代完整行为序列生成，降低计算与数据成本。
- 解耦预测基座与行动策略的设计模式可用于推荐 Agent：例如用轻量 Transformer 预测用户短期意图，将重计算留给策略决策，平衡延迟与丰富度。
- 从交互性、因果性、持久性等维度评估世界模型，可迁移到推荐系统 A/B 测试前的离线模拟器质量检查，特别关注分布外鲁棒性。
- 论文对视频生成 VS 潜在预测 VS 无生成推理的分支梳理，提示在搜索推荐 Agent 中也可根据场景（实时改价 vs 长期策略）选择不同程度的“未来预测”实现。
循环世界模型：迭代隐状态实现百倍参数效率
🧭 世界模型 · 循环架构 · 参数效率
FaceMind Research Asia
通过参数共享的 Transformer 块迭代优化隐状态，世界模型获得高达 100 倍参数效率并自适应深度
📌 工作参考价值（4 点）
- 参数共享的循环 Transformer 可迁移到用户行为序列预测，大幅减少长序列建模时的参数量和推理成本
- 自适应深度机制可根据输入复杂度动态分配计算，适合推荐系统中用户状态复杂多变的场景
- 迭代隐状态更新思想可用于长期兴趣演化模拟，替代传统的固定循环网络
- 主要是学术贡献，业务可借鉴点有限：当前仅在标准世界模型基准验证，缺乏推荐场景直接证据
可扩展环境驱动可泛化智能体
🧭 环境扩展与跨环境泛化 ★ 深度解读
HKUST(GZ) · DeepWisdom · PKU · NUS · SUTD
区分轨迹、任务、环境三类扩展，提出程序化生成与生成式世界模型两种环境扩展范式，量化跨环境适应
📌 工作参考价值（4 点）
- 明确区分轨迹、任务、环境三类扩展，在构建评测或训练管线时可据此定位瓶颈：若只需提升固定规则下的能力，用任务扩展；若要训练跨规则适应，必须做环境扩展。
- 程序化环境生成器（如 EnvScaler、AutoEnv）通过参数化规则集，提供可复现、可验证的环境，适合为电商搜索、推荐对话等场景构建可控的 Agent 压力测试套件。
- 生成式世界模型（如 Genie 3）可与程序化规则支架结合，在保持交互规则可控的同时注入语义多样性，丰富训练分布。
- 部署时，即使环境固定，也可利用局部环境扰动（ploc）生成邻域变体（修改布局、实体、观察等），使 Agent 训练更鲁棒，减少上线后的 brittle failure。